Qualità dei dati

• gli errori non campionari sono provocati da tutte le possibili imprecisioni e in accuratezze commesse o subite durante un'indagine. Questi errori sono attribuibili a problemi nell'organizzazione del processo di produzione dell'informazione statistica, all'intervistato (che rifiuta di rispondere, fornisce un dato errato volontariamente o involontariamente, ecc.), all'intervistatore (carenza nell'addestramento, influenza dell'intervistatore, ecc.), alla tecnica di intervista (faccia a faccia, postale, telefonica, ecc.), alle caratteristiche del modello (lunghezza, complessità, terminologia, ecc.), a problemi nelle fasi di codifica e registrazione dati.
• gli errori campionari dipendono sostanzialmente dalla circostanza che non tutta la popolazione, ma soltanto una porzione di essa (il campione) è soggetto a rilevazioni (errori variabili di campionamento). Questi errori possono quindi essere attribuiti esclusivamente all'effetto del caso, al disegno campionario, alla tecnica di campionamento o allo stimatore utilizzati in una data indagine statistica, e interessano solo le stime.

Il trattamento della componente non campionaria dell'errore è reso più complesso dalle difficoltà connesse sia alla sua individuazione sia alla determinazione e rimozione delle cause che l'hanno generata. Il processo di controllo e correzione dei dati riguarda i soli errori non campionari presenti nei dati stessi.

Un'ulteriore distinzione viene fatta tra errori sistematici ed errori casuali (o stocastici).

• Si dicono errori sistematici quegli errori la cui origine è da attribuirsi a difetti strutturali o organizzativi del processo di produzione dell'informazione statistica, alla struttura del modello o al sistema di registrazione adottati, e si manifestano maggiormente come deviazioni sistematiche dal valore vero di una o più variabili rilevate. La loro presenza può essere segnalata da particolari frequenze di valori anomali, incongruenze o valori fuori dominio nelle variabili rilevate.
• Si dicono errori casuali o stocastici quegli errori la cui origine è da attribuirsi a fattori aleatori non direttamente individuabili.

• Si ha una mancata risposta totale quando una certa unità statistica inclusa nella rilevazione non fornisce risposta ad alcuno dei quesiti previsti nel modello. La sua presenza può essere dovuta a varie cause: errore di lista, non reperibilità dell'unità statistica nella rilevazione, rifiuto di rispondere, incapacità di rispondere, ecc.
• Si ha una mancata risposta parziale quando per una certa unità statistica inclusa nella rilevazione non è disponibile l'informazione relativa ad un sottoinsieme dei quesiti previsti nel modello. Le mancate risposte parziali sono composte da due componenti: valori mancanti e valori errati. La prima componente è dovuta prevalentemente a problemi in fase di compilazione del modello, consistenti o in una cattiva interpretazione dei quesiti o delle regole di compilazione da parte del rispondente e/o del rilevatore, oppure nel rifiuto da parte del rispondente. La seconda componente, oltre ai problemi di compilazione, risente in modo particolare di problemi in fase di registrazione.

• il valore di una variabile rilevato su una data unità della popolazione si dice fuori dominio quando non appartiene ad un insieme predefinito di valori ammissibili;
• una data unità statistica viene detta anomala (outlier) quando essa presenta caratteristiche significativamente diverse da quelle della maggior parte delle unità;
• in una unità rispondente sono presenti incompatibilità se i valori di una o più variabili in essa rilevate contraddicono predefinite regole di natura logica e/o relazioni di tipo matematico.

Un aspetto importante del problema dell'individuazione e della correzione degli errori riguarda la necessità, sempre più sentita in termini non solo statistici ma anche e soprattutto di contenuto delle informazioni prodotte e rilasciate all'utente, di produrre dati non solo completi (cioè privi di mancate risposte e incongruenze interne), ma anche e soprattutto il più possibile corrispondenti al vero. In questo senso la ricerca e la correzione degli elementi errati vanno viste come operazioni attraverso cui, a fronte di una situazione di incertezza, vengono poste in atto tecniche di recupero e di ripristino dell'informazione "vera".

• regole formali, che derivano dalla struttura del modello, cioè direttamente dalle norme di compilazione e dai "percorsi interni" del modello;
• regole sostanziali, che derivano da considerazioni di tipo statistico - matematico, o da conoscenze specifiche a priori del fenomeno oggetto di rilevazione.

Una volta individuati i record i cui valori violano uno o più vincoli del piano di incompatibilità, il problema diventa la localizzazione delle variabili responsabili di tale violazione: sono solo queste, infatti, le variabili i cui valori devono essere considerati errati (cioè mancanti) e quindi corretti.

L'insieme degli controlli statistici costituiscono la base per le procedure di localizzazione dei valori anomali (outlier) e dei valori sospetti. La presenza per una variabile di valori anomali dovuti a risposte errate è spesso un efficace indicatore di presenza di errore sistematico per quella variabile. Inoltre, questi valori, potendo avere un impatto considerevole sulle statistiche e sulle stime calcolate sui dati, se non opportunamente corretti, possono produrre delle notevoli distorsioni sui risultati finali dell'indagine.

L'origine degli outlier può essere dovuta a errori di misura commessi in una qualunque delle fasi della rilevazione, ad errata interpretazione del modello, ad errata trascrizione dei dati, ma anche alla variabilità intrinseca del fenomeno. È quindi importante verificare se questi valori corrispondono a risposte errate oppure a dati reali.

La localizzazione degli outlier avviene mediante la determinazione di intervalli di accettazione al di fuori dei quali una unità statistica è da considerare anomala e quindi da sottoporre a controllo ed, eventualmente, a correzione.

La determinazione degli intervalli di accettazione può essere: empirica, se i limiti degli intervalli di accettabilità sono determinati dallo statistico sulla base della distribuzione della variabile stessa (o di una sua funzione) nella popolazione di riferimento; automatica, quando i limiti di accettabilità sono determinati sulla base di algoritmi implementati in programmi software. Generalmente, i valori anomali per una certa variabile osservata sono individuati calcolando le distanze relative di ogni unità dal centro dei dati (considerati nel loro complesso o per domini), e determinando un valore di soglia oltre il quale le unità sono da considerare sospette, e quindi si necessita di ulteriori verifiche.

Correzione degli errori

Dopo aver individuato i record contenenti valori errati, e quindi non accettabili, e le variabili responsabili di tale non correttezza, si pone il problema della loro modifica in modo da riportare il record nella condizione di accettabilità rispetto ai criteri (piano di incompatibilità o piano di localizzazione dei valori anomali) utilizzati. Le procedure esistenti per questa operazione possono essere classificati secondo diversi punti di vista.

Una prima distinzione avviene tra tecniche di correzione di tipo micro e di tipo macro. Le prime prevedono il controllo di tutti i record presenti nel data set e la correzione di tutti quelli che hanno determinato l'attivazione di un qualsiasi edit. L'approccio macro, invece, prevede la verifica e l'eventuale correzione delle sole unità che incidono maggiormente sulle stime finali dei dati. Nell'ambito dei metodi di tipo macro distinguiamo fra tecniche del macroediting e tecniche di tipo selettivo. Entrambe sono di tipo interattivo, cioè prevedono che i record errati, o con alta probabilità di esserlo, vengano corretti sulla base dell'intervento diretto dell'operatore, il quale provvede a rimuovere l'errore mediante verifica del modello cartaceo o, dove possibile, mediante reintervista.

Le tecniche di correzione di tipo micro, invece, possono essere di tipo sia interattivo sia automatico. I metodi rientranti nel primo tipo possono essere utilizzati in contesti sia interamente interattivi (in cui cioè anche la determinazione degli errori avviene attraverso l'interazione fra dati ed esperto), sia in ambiti parzialmente automatici (in cui cioè l'individuazione delle componenti errate nei record avviene attraverso l'utilizzo di software automatico in cui sono implementate le regole di controllo). In quest'ultimo caso si parla di procedure di controllo e correzione di tipo misto.

Correzione dei valori anomali

Dopo aver individuato le unità in cui una o più variabili presentano valori anomali, esistono due possibili alternative: escludere i valori anomali dalle elaborazioni successive e dal calcolo delle stime finali; verificare se gli outlier individuati corrispondono o meno a situazioni errate, cioè sono dovuti a errori di compilazione o di registrazione, o se invece corrispondono alla situazione reale del rispondente rispetto al carattere rilevato. Questo tipo di analisi può essere solo di tipo interattivo, e può consistere nella revisione dei modelli cartacei (dove disponibili) o dei record corrispondenti, oppure, dove praticabile, nella reintervista del rispondente. Nel caso in cui i valori anomali corrispondano alla reale situazione dell'unità rispondente, trattandosi non di errori, ma di valori estremi, è necessario verificare se essi corrispondono o meno ad unità influenti, cioè se la loro inclusione o esclusione ha o meno un impatto importante sulle stime.

Nel primo caso (esclusione totale degli outlier) possono essere introdotte gravi distorsioni nei risultati finali del processo di produzione dell'informazione statistica dal momento che, se gli outlier corrispondono a valori reali, si rinuncia a informazioni in ogni caso corrette, che rappresentano modalità possibili dell'evolversi del fenomeno in oggetto. Questa soluzione è accettabile solo nel caso in cui gli outlier corrispondano ad osservazioni errate e non influenti (cioè con trascurabile impatto sulle stime).

Nel secondo caso, al controllo interattivo possono seguire le seguenti operazioni:

1. in fase di editing, imputazione dei valori anomali corrispondenti a risposte errate;
2. trattamento dei valori anomali dovuti al reale evolversi del fenomeno (cioè degli outlier corrispondenti a valori corretti) a livello di stima.

La seconda operazione, che prevede il trattamento degli outlier a livello di calcolo della stima finale, introduce normalmente distorsioni negli stimatori utilizzati. Esistono tre approcci al trattamento degli outlier in fase di stima:

• modifica dei valori degli outlier;
• determinazione per gli outlier di nuovi pesi che tengano opportunamente conto dell'impatto che le unità anomale hanno sul fenomeno nel suo complesso;
• utilizzo di tecniche di stima robuste, cioè poco sensibili alla presenza nei dati di valori anomali.

Trattamento delle mancate risposte totali

La presenza delle mancate risposte totali nei dati è un problema comune a tutte le indagini: tutti gli strumenti adottabili per la prevenzione di tale fenomeno possono solo ridurne l'intensità, ma non riescono in ogni caso ad eliminarne del tutto la presenza.

Le mancate risposte totali hanno due effetti sui risultati finali: riducono la quantità di informazione disponibile (nel caso di indagini campionarie, attraverso la riduzione della numerosità campionaria, viene prodotto un incremento del relativo errore di campionamento); introducono distorsioni nelle stime quando il meccanismo che le genera è non casuale.

Il trattamento delle mancate risposte totali ha lo scopo di prevenire le distorsioni che la loro presenza può provocare sui risultati finali del processo di produzione dell'informazione statistica. Questo trattamento può avvenire a tre livelli: in fase di rilevazione, in fase di editing oppure in fase di stima finale. Nel primo caso si cerca di ridurre il fenomeno della mancata risposta totale prevedendo delle sostituzioni per le unità eventualmente non rispondenti. Nel secondo caso, le mancate risposte totali vengono sottoposte a integrazione analogamente a quanto avviene per le mancate risposte parziali. Nel terzo caso, il problema consiste nell'eliminazione o nella riduzione della distorsione prodotta dalla presenza di mancate risposte totali nelle stime finali attraverso l'utilizzo di opportuni pesi correttivi.

Rilevazione

Nel caso di indagini campionarie, le unità non rispondenti possono essere sostituite direttamente in fase di rilevazione con altre unità precedentemente selezionate casualmente dalla stessa lista. Questo metodo presenta il vantaggio di ripristinare la numerosità campionaria iniziale, ma possono non essere eliminati gli effetti distorsivi sulle stime finali se la sub-popolazione dei rispondenti rappresentata dalle unità sostitutive hanno caratteristiche sistematicamente diverse da quelle dei non rispondenti.

Sempre nel caso di indagini campionarie, un metodo di correzione degli effetti della presenza di mancate risposte totali sulle stime finali consiste nell'estrarre un sub-campione casuale semplice dalla popolazione dei non rispondenti, e di procedere alla reintervista, mediante ritorni successivi, delle unità selezionate. In questo modo, ottenuta la stima relativa ai non rispondenti, è possibile ridurre la distorsione della stima finale. Questa tecnica è però raramente praticabile nel caso di indagini di tipo amministrativo, ed in ogni caso risulta essere piuttosto costosa in termini sia economici che organizzativi.

Imputazione

Se fra le esigenze dell'indagine c'è la costruzione di un archivio completo di informazioni, le mancate risposte totali possono essere sottoposte a imputazione analogamente alle mancate risposte parziali. Questo è possibile nel caso in cui siano disponibili le caratteristiche strutturali della popolazione investigata e informazioni ausiliarie affidabili. I metodi utilizzabili a questo scopo possono essere basati sull'uso di unità donatrici (così definite perché il valore della variabile relativo a questa unità è "donato" all'unità errata, quindi si utilizza il valore dell'unità donatrice per sostituire il valore che risulta errato) oppure sull'adozione di modelli statistico - matematici di varia natura.

Nel primo caso, le informazioni relative ad ogni unità totalmente non rispondente vengono ottenute mediante duplicazione di una unità rispondente donatrice, scelta secondo un prefissato criterio casuale fra un insieme di unità donatrici candidate. Le unità donatrici candidate sono generalmente ottenute classificando tutti i possibili donatori sulla base di variabili ausiliarie, note per tutte le unità rispondenti, che si suppone discriminino fra diversi modelli di risposta. È evidente che il rapporto tra queste variabili ausiliarie ed il modello di risposta vanno verificate, così come va verificata l'indipendenza del meccanismo aleatorio di riposta dal livello delle variabili ausiliarie utilizzate.

Nel caso di imputazione mediante modelli vengono utilizzati generalmente modelli deterministici in cui si assume una dipendenza di tipo lineare fra un sottoinsieme di variabili di interesse ed un insieme di variabili esplicative. Le funzioni che esprimono tale dipendenza sono generalmente a loro volta dipendenti da un insieme di parametri, che devono essere stimati sulla base delle informazioni fornite dalle unità rispondenti.

Riponderazione

Quando le informazioni relative ad alcune unità statistiche risultano completamente mancanti e non è possibile o non si ritiene opportuno procedere alla loro integrazione, è necessario tenere conto di questa assenza di informazione a livello di stima finale: ciò può essere fatto incrementando il valore dei pesi campionari di unità rispondenti considerate rappresentative di quelle non rispondenti. È chiaro che l'assunzione alla base di questo approccio è piuttosto critica, in quanto si assume una omogeneità di probabilità di risposta fra rispondenti e non rispondenti non sempre accettabile, e che dovrebbe essere in ogni caso sempre accuratamente verificata.

Fra le tecniche di riponderazione più diffuse ricordiamo il metodo geografico e il metodo della ponderazione vincolata.

Il primo metodo consiste nel far rappresentare le unità non rispondenti da unità appartenenti a classi territoriali contigue, e viene spesso usato in combinazione col criterio dell'aggregazione degli strati, consistente appunto nell'integrazione fra strati in cui si verifica un completa caduta delle unità campione e strati contigui che ne diventano così rappresentativi. Il vantaggio di questo metodo è il fatto che la somma dei pesi modificati coincide col totale delle unità della popolazione. Il principale svantaggio è legato alla non correttezza generale delle stime finali: tali stime risultano infatti non distorte solo nel caso in cui il fattore correttivo applicato ai pesi iniziali sia il reciproco della probabilità di risposta delle unità rispondenti.

Il secondo metodo può essere adottato per tutte quelle indagini per le quali si dispone di totali noti sulla popolazione oggetto di indagine, ottenuti o da fonti esterne oppure sulla base dell'archivio da cui il campione di unità statistiche è stato selezionato. Questo metodo consiste nel calcolare i fattori correttivi per i pesi campionari in modo tale che siano rispettati i vincoli di uguaglianza fra i totali noti e le rispettive stime campionarie. Gli stimatori utilizzati per il calcolo di queste stime, detti stimatori di ponderazione vincolata, consentono in generale di attenuare gli effetti distorsivi dovuti alla presenza di mancate risposte totali.

Il metodo della ponderazione vincolata e, in generale, tutti i metodi di riponderazione in presenza di mancate risposte totali, presuppongono la specificazione di modelli probabilistici di interpretazione della mancata risposta totale, o modelli di mancata risposta. Questi modelli vengono utilizzati, in presenza di mancate risposte totali, per la stima delle probabilità di risposta delle unità campionarie, se queste probabilità sono incognite.

La maggior parte dei modelli di mancata risposta fanno uso, oltre che delle informazioni fornite dai rispondenti, di informazioni ausiliarie, che possono consistere in dati sui non-rispondenti ottenibili o dalle liste di selezione del campione, oppure da fonti esterne all'indagine che descrivono alcune caratteristiche dei non rispondenti.

La fase di individuazione delle situazioni di errore, solitamente, è compiuta in modo automatico, in quanto non vi sono particolari decisioni da prendere: si tratta solo di verificare se un record presenta mancate risposte parziali, valori fuori dominio o dà luogo o meno a incompatibilità. Per quanto riguarda invece le altre fasi, le decisioni da prendere sono estremamente delicate, in quanto, se non eseguite correttamente, possono portare non alla correzione degli errori presenti, ma addirittura all'introduzione di nuovi, e, in ultima analisi, allo stravolgimento della distribuzione originale. In merito all'adozione della modalità interattiva od automatica giocano considerazioni relative alle conseguenze sulla qualità finale dei dati e sui costi in termini di risorse e di tempi necessari. Mentre per quanto riguarda quest'ultimo elemento è innegabile che la soluzione automatica risulta essere sempre vantaggiosa, non altrettanto si può dire riguardo la qualità: sotto questo aspetto, è decisiva la valutazione delle tecniche e degli algoritmi utilizzati nell'uno e nell'altro caso.

Tempi e costi

La programmazione dei tempi e dei costi di esecuzione dell'indagine è un fattore critico per la riuscita dell'indagine stessa. Queste variabili, infatti, oltre ad influenzarsi reciprocamente, sono fortemente connesse alla qualità dell'informazione prodotta.

Nella pratica, l'elemento di costo viene visto come un vincolo al quale la progettazione deve sottostare senza tenere conto, in molti casi, del livello di errori che risorse carenti possono indurre nelle operazioni programmate se, infatti, una disponibilità illimitata di risorse può indurre a sprechi non sostenibili, un impegno di costo troppo limitato può portare al fallimento degli obiettivi dell'indagine con perdite anche maggiori.

In questo contesto bisogna inserire anche i tempi di esecuzione dell'indagine, tenendo conto della necessità di disporre di dati utilizzabili in un momento il più prossimo possibile a quello di riferimento dell'informazione raccolta (la tempestività come visto in precedenza). La domanda di tempestività può essere indotta sia dall'urgenza dell'informazione, per esempio allo scopo di prendere decisioni strategiche, sia da una rapidità di mutamento del fenomeno osservato, tale da ridurre l'obsolescenza dell'informazione prodotta.

Anche la tempestività può essere messa in relazione con il costo sostenuto e la qualità dei dati prodotti. È infatti lecito chiedersi se, al prezzo di un maggiore impiego di risorse, si possa anticipare la diffusione a parità di qualità o viceversa, tenendo fisse le risorse impiegate si possa aumentare la qualità dei dati prodotti, posticipando i tempi di produzione. Per esempio, si può ritenere che, aumentando il numero di rilevatori in una intervista si possa comprimere il tempo di rilevazione, oppure la qualità dell'informazione prodotta potrebbe essere migliorata conducendo analisi supplementari sui dati al prezzo di un aumento dei tempi di lavorazione. Oppure si potrebbe decidere di sopportare la diffusione dei dati a qualità inferiore, per far fronte all'urgenza di informazione, diffondendo dati preliminari ad indagine non ancora conclusa.

Per poter migliorare la pianificazione di tempi e costi d'indagine è necessario considerare le singole fasi operative e valutarne attentamente l'integrazione. Inoltre, occorre predisporre nel sistema dei controlli di qualità un adeguato monitoraggio delle risorse impiegate in ciascuna attività condotta e dei loro tempi di esecuzione, mettendo queste informazioni a confronto con gli altri indicatori di qualità prodotti.